CorrGRPO: Correlation-Normalized GRPO for Multi-Reward Learning
CorrGRPO：多奖励学习的相关性归一化 GRPO
🧭 多奖励 RL · GRPO 归一化 ★ 深度解读
Hong Kong University of Science and Technology
将 GRPO 多奖励优势归一化从协方差改为 Pearson 相关，消除大方差奖励主导，提升代码/工具/Agent 安全多目标训练效果
📌 工作参考价值（4 点）
- 工程实现简单：只需在 group advantage 分母中用相关矩阵元素和替换协方差和，分子保持 centered total reward；论文 Listing 1 可直接作为现有多奖励 GRPO 训练代码的改造模板。
- 当业务奖励量纲/方差差异大（例如 CTR、转化、时长、多样性、安全分）时，CorrGRPO 可避免大方差目标主导优势缩放，同时保留预设目标权重；适合作为多目标 RL 的默认 advantage normalizer。
- 高度相关的奖励（点击与转化、多个可用性指标）会被相关归一化自动去冗余，避免重复奖励放大更新；在 reward hacking 或目标一致性强时尤其有用，可辅助探索。
- 训练动态上 CorrGRPO 保留更高策略熵，减缓 entropy collapse，有利于持续探索和发现高奖励策略；可与 KL 系数、DAPO/CISPO 等现有 RL 方法结合。